package com.atguigu.flink.watermark;

import com.atguigu.flink.function.WaterSensorMapFunction;
import com.atguigu.flink.pojo.WaterSensor;
import com.atguigu.flink.utils.MyUtil;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessAllWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;

import java.time.Duration;

/**
 * Created by Smexy on 2023/4/8
 *
 *  数据出现了乱序，导致迟到怎么处理。
 *      正常情况下，先产生的数据，一定是提前到达。
 *      先产生(ts小)的数据，后到达，称为迟到。
 *
 *      当前数据的时间属性 <  算子的watermark 称为迟到！
 *
 *      ①推迟水印的推进，调慢时间。操作水印的生成策略WatermarkStrategy
 *
 *      ②如果①无法解决问题，如何处理?
 *          根本原因在于窗口，到点就算，算完就关闭，导致后续迟到的数据无法进入。
 *          可以推迟窗口关闭的时间。
 *              不是推迟计算的时间。
 *              窗口还是到点就算，算完后不关闭，保持一段时间。
 *              如果你在这个期间可以到达，依旧有机会进入窗口，一进入窗口就再触发一次运算。
 *              直到窗口关闭。
 *              window
 *
 *       ③如果②实行后，依旧有迟到的，如何处理?
 *              极端乱序数据。
 *              可以把这些数据放入一个侧流中，对侧流中的数据单独处理。
 *              操作的还是window对象。进入不了window的数据，存入侧流。
 *
 *
 *        如果进入侧流的数据比例过多，说明数据乱序程度太大，不是流式数据。
 *          适合批处理。
 *
 *
 *
 */
public class Demo3_HandleLate
{
    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        conf.setInteger("rest.port", 3333);
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(conf);

        env.getConfig().setAutoWatermarkInterval(2000);
        env.disableOperatorChaining();
        env.setParallelism(1);

        WatermarkStrategy<WaterSensor> watermarkStrategy = WatermarkStrategy
            //水印会自动推迟3秒
            .<WaterSensor>forBoundedOutOfOrderness(Duration.ofSeconds(3))
            .withTimestampAssigner( (e, ts) -> e.getTs());

        OutputTag<WaterSensor> outputTag = new OutputTag<>("lateData", TypeInformation.of(WaterSensor.class));

        SingleOutputStreamOperator<String> ds2 = env
            .socketTextStream("hadoop102", 8888)
            .map(new WaterSensorMapFunction())
            //产生了水印，向下游发送水印
            .assignTimestampsAndWatermarks(watermarkStrategy)
            /*
               窗口1 size:[0,4999]， slide:4999

               窗口2 size:[5000,9999],slide:9999

               数据如何进入窗口?
                    是eventtime，看数据的时间属性是否 符合窗口的 时间范围。
                    是processingTime，看数据到达开窗算子的物理时间，是否符合窗口的 时间范围

                 数据进入哪个窗口，和水印无关！

             */
            .windowAll(TumblingEventTimeWindows.of(Time.seconds(5)))
            .sideOutputLateData(outputTag)
            //窗口是否运行推迟关闭
            .allowedLateness(Time.seconds(2))
            .process(new ProcessAllWindowFunction<WaterSensor, String, TimeWindow>()
            {
                @Override
                public void process(Context context, Iterable<WaterSensor> elements, Collector<String> out) throws Exception {

                    out.collect(context.window() + ":" + MyUtil.parseToList(elements));

                }
            });

        //默认返回的是主流
        ds2.print();

        //获取侧流
        ds2.getSideOutput(outputTag).printToErr("late");


            env.execute();

    }
}
